#!/bin/bash

# 检查参数个数
if [ "$#" -ne 2 ]; then
    echo "用法: $0 输入文件夹 输出文件"
    exit 1
fi

# 获取参数
input_dir=$1
output_file=$2

# 检查输入文件夹是否存在
if [ ! -d "$input_dir" ]; then
    echo "错误: 输入文件夹不存在"
    exit 1
fi

# 确保目标文件是空的
> "$output_file"

# 遍历输入文件夹下所有的 JSONL 文件
for file in "$input_dir"/*.jsonl; do
    # 使用 grep 去除空行，并将内容追加到目标文件
    grep -v '^$' "$file" >> "$output_file"
done

echo "所有 JSONL 文件已合并到 $output_file"
